import pandas as pd
import plotly.express as px
import plotly.io as pio
pio.renderers.default = "notebook"
pd.set_option('display.max_colwidth', None)
d1 = pd.read_csv("pd0.csv")
d1
| tempo | triplas | |
|---|---|---|
| 0 | 60.426094 | 100 |
Exemplo de consulta:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
?p ?o.
} LIMIT 100
d2 = pd.read_csv("pd1.csv")
d2
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 3.320996 | Acórdão | 100 |
| 1 | 7.031264 | Agente | 100 |
| 2 | 2.470823 | Arma | 100 |
| 3 | 0.562994 | Arquivo | 100 |
| 4 | 1.235993 | Ativa | 100 |
| ... | ... | ... | ... |
| 136 | 0.553146 | Unidade Federativa | Estado | 100 |
| 137 | 0.509918 | Unidade Fiscal | 32 |
| 138 | 5.614598 | Usuário | 100 |
| 139 | 2.310762 | Órgão | 100 |
| 140 | 39.395015 | Evento | 100 |
141 rows × 3 columns
p = {'inválidas':d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0],'válidas':d2.shape[0]-d2[(d2['triplas']==0) | (d2['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes válidas')
fig.show()
d2['timeout'] = 'Não'
d2.loc[d2['triplas']==-1,'timeout'] = 'Sim'
p= d2['timeout'].value_counts().reset_index(name="count")
fig = px.pie(p,values='count', names='index', title='Percentual de classes com erros')
fig.show()
d2[d2['triplas']==-1]
| tempo | classe | triplas | timeout |
|---|
p = {'vazias':d2[d2['triplas']==0].shape[0],'povoadas':d2.shape[0]-d2[d2['triplas']==0].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes vazias')
fig.show()
d2[d2['triplas']==0]
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 17 | 0.363349 | Conceito | 0 | Não |
validas = d2[(d2['triplas']!=0) & (d2['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução, quando tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,20)
validas[validas['tempo']<20].describe()
| tempo | triplas | |
|---|---|---|
| count | 134.000000 | 134.000000 |
| mean | 2.687192 | 92.365672 |
| std | 2.938296 | 23.521400 |
| min | 0.503845 | 6.000000 |
| 25% | 0.660256 | 100.000000 |
| 50% | 1.654658 | 100.000000 |
| 75% | 3.463967 | 100.000000 |
| max | 17.838546 | 100.000000 |
fig = px.histogram(validas[validas['tempo']>=20], x="tempo",title="histograma de tempo de execução, quando tempo [20,inf]")
fig.show()
Consultas com tempo [20,inf)
validas[validas['tempo']>=20].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | timeout | |
|---|---|---|---|---|
| 72 | 295.042744 | Medicamento | 100 | Não |
| 91 | 253.467723 | Produto | 100 | Não |
| 69 | 188.640638 | Item | 100 | Não |
| 85 | 43.576159 | Pessoa Física | 100 | Não |
| 140 | 39.395015 | Evento | 100 | Não |
| 123 | 37.603164 | Sócio | 100 | Não |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> ?p ?o.
} LIMIT 100
d3 = pd.read_csv("pd2.csv")
d3
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.743724 | Acórdão | 5 |
| 1 | 0.474504 | Agente | 5 |
| 2 | 4.206657 | Arma | 8 |
| 3 | 4.935709 | Arquivo | 12 |
| 4 | 0.502974 | Ativa | 9 |
| ... | ... | ... | ... |
| 135 | 0.399877 | Unidade Federativa | Estado | 5 |
| 136 | 0.423677 | Unidade Fiscal | 4 |
| 137 | 5.671806 | Usuário | 4 |
| 138 | 0.442159 | Órgão | 9 |
| 139 | 2.863139 | Evento | 51 |
140 rows × 3 columns
d3[(d3['triplas']==0) | (d3['triplas']==-1)]
| tempo | classe | triplas |
|---|
validas = d3[(d3['triplas']!=0) & (d3['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução, quando tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 123.000000 | 123.000000 |
| mean | 1.242606 | 10.219512 |
| std | 1.283930 | 12.879350 |
| min | 0.066986 | 2.000000 |
| 25% | 0.458304 | 6.000000 |
| 50% | 0.593268 | 8.000000 |
| 75% | 1.589988 | 11.000000 |
| max | 4.952853 | 100.000000 |
fig = px.histogram(validas[(validas['tempo']>=5) & (validas['tempo']<50)], x="tempo",title="histograma de tempo de execução, quando tempo [5,49]")
fig.show()
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 17.000000 | 17.000000 |
| mean | 16.486373 | 16.411765 |
| std | 25.559187 | 11.821901 |
| min | 5.004380 | 4.000000 |
| 25% | 6.336244 | 7.000000 |
| 50% | 9.233125 | 16.000000 |
| 75% | 16.138595 | 21.000000 |
| max | 113.565399 | 51.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by="tempo",ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 68 | 113.565399 | Item | 6 |
| 17 | 21.113705 | Consumidor | 13 |
| 71 | 19.131507 | Medicamento | 7 |
| 90 | 18.794292 | Produto | 7 |
| 49 | 16.138595 | Estabelecimento | 28 |
| 15 | 10.996962 | Combustível | 5 |
| 75 | 10.265393 | Não Contribuinte | 6 |
| 52 | 10.058820 | Estabelecimento SEFAZ | 28 |
| 33 | 9.233125 | Empresa Holding | 24 |
| 85 | 8.596098 | Pessoa Física Cadastro SEFAZ | 16 |
| 18 | 8.191876 | Contador | 16 |
| 50 | 6.539718 | Estabelecimento REDESIM | 21 |
| 86 | 6.336244 | Pessoa Física REDESIM | 16 |
| 137 | 5.671806 | Usuário | 4 |
| 35 | 5.363990 | Empresa | Organização | Pessoa Jurídica REDESIM | 51 |
| 43 | 5.266439 | Endereço Cadastro da SEFAZ | 15 |
| 98 | 5.004380 | Representante Legal Físico | 16 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> rdfs:label ?o.
} LIMIT 100
d4 = pd.read_csv("pd3.csv")
d4
| tempo | classe | triplas | |
|---|---|---|---|
| 0 | 0.177573 | Acórdão | 1 |
| 1 | 0.127083 | Agente | 1 |
| 2 | 0.644135 | Arma | 1 |
| 3 | 0.360882 | Arquivo | 1 |
| 4 | 0.121924 | Ativa | 1 |
| ... | ... | ... | ... |
| 135 | 0.079648 | Unidade Federativa | Estado | 1 |
| 136 | 0.093509 | Unidade Fiscal | 1 |
| 137 | 1.140304 | Usuário | 1 |
| 138 | 0.088513 | Órgão | 1 |
| 139 | 0.326568 | Evento | 1 |
140 rows × 3 columns
p = {'não tem label':d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0],'tem label':d4.shape[0]-d4[(d4['triplas']==0) | (d4['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de classes com recursos com labels')
fig.show()
d4[(d4['triplas']==0) | (d4['triplas']==-1)]
| tempo | classe | triplas | |
|---|---|---|---|
| 15 | 22.790277 | Combustível | 0 |
| 58 | 0.088779 | Fornecedor Pessoa Física | 0 |
| 60 | 0.086839 | Fornecedor Restrito | 0 |
| 100 | 0.086871 | Sancionado | 0 |
validas = d4
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 138.000000 | 138.000000 |
| mean | 0.252046 | 1.072464 |
| std | 0.363652 | 0.333915 |
| min | 0.066363 | 0.000000 |
| 25% | 0.092778 | 1.000000 |
| 50% | 0.130232 | 1.000000 |
| 75% | 0.260549 | 1.000000 |
| max | 2.641042 | 2.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 2.000000 | 2.000000 |
| mean | 18.055603 | 0.500000 |
| std | 6.695840 | 0.707107 |
| min | 13.320930 | 0.000000 |
| 25% | 15.688266 | 0.250000 |
| 50% | 18.055603 | 0.500000 |
| 75% | 20.422940 | 0.750000 |
| max | 22.790277 | 1.000000 |
Consultas com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | triplas | |
|---|---|---|---|
| 15 | 22.790277 | Combustível | 0 |
| 68 | 13.320930 | Item | 1 |
Exemplo:
prefix owl: \http://www.w3.org/2002/07/owl#\
prefix rdfs: \http://www.w3.org/2000/01/rdf-schema#\
select * where {
?s a <http://www.sefaz.ma.gov.br/ontology/Acordao>;
<http://www.sefaz.ma.gov.br/ontology/data_final> ?o.
} LIMIT 100
d5 = pd.read_csv("pd4.csv")
d5
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.070010 | Acórdão | data final | 0 |
| 1 | 0.217985 | Agente | name | 100 |
| 2 | 0.134612 | Agente | nome | 100 |
| 3 | 0.672858 | Agente | tem solicitação | 0 |
| 4 | 0.304092 | Agente | tem tipo de contribuição | 100 |
| ... | ... | ... | ... | ... |
| 890 | 0.064512 | Órgão | 0 | |
| 891 | 0.068471 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
| 892 | 0.702971 | Evento | tem solicitação | 100 |
| 893 | 0.439578 | Evento | código do evento | 88 |
| 894 | 0.305619 | Evento | descrição do evento | 68 |
895 rows × 4 columns
d5[(d5['triplas']==0) | (d5['triplas']==-1)]
| tempo | classe | propriedade | triplas | |
|---|---|---|---|---|
| 0 | 0.070010 | Acórdão | data final | 0 |
| 3 | 0.672858 | Agente | tem solicitação | 0 |
| 6 | 0.068976 | Agente | cpf ou cnpj | 0 |
| 9 | 0.070276 | Agente | número de contato | 0 |
| 10 | 0.058964 | Agente | contact number | 0 |
| ... | ... | ... | ... | ... |
| 887 | 0.067713 | Órgão | tem matriz | 0 |
| 888 | 0.064867 | Órgão | cnpj raíz | 0 |
| 889 | 0.068459 | Órgão | razão social | 0 |
| 890 | 0.064512 | Órgão | 0 | |
| 891 | 0.068471 | Órgão | idêntico / igual / mesmo que / sameAs | 0 |
341 rows × 4 columns
p = {'inválida':d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0],'válida':d5.shape[0]-d5[(d5['triplas']==0) | (d5['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d5['erro']='Não'
d5.loc[d5['triplas']==-1,'erro']='Sim'
p = d5['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de propriedades de classes que deram erro')
fig.show()
Consultas com erro
d5[d5['triplas']==-1]
| tempo | classe | propriedade | triplas | erro |
|---|
p = {'propridade sem valor':d5[(d5['triplas']==0)].shape[0],'propridades com valor':d5.shape[0]-d5[(d5['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades com valores por classe')
fig.show()
Consultas com retorno vazio
d5[(d5['triplas']==0)]
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 0 | 0.070010 | Acórdão | data final | 0 | Não |
| 3 | 0.672858 | Agente | tem solicitação | 0 | Não |
| 6 | 0.068976 | Agente | cpf ou cnpj | 0 | Não |
| 9 | 0.070276 | Agente | número de contato | 0 | Não |
| 10 | 0.058964 | Agente | contact number | 0 | Não |
| ... | ... | ... | ... | ... | ... |
| 887 | 0.067713 | Órgão | tem matriz | 0 | Não |
| 888 | 0.064867 | Órgão | cnpj raíz | 0 | Não |
| 889 | 0.068459 | Órgão | razão social | 0 | Não |
| 890 | 0.064512 | Órgão | 0 | Não | |
| 891 | 0.068471 | Órgão | idêntico / igual / mesmo que / sameAs | 0 | Não |
341 rows × 5 columns
validas = d5[d5['triplas']!=-1]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<5], x="tempo",title="histograma de tempo de execução com tempo [0,5)")
fig.show()
Estatísticas para consultas com tempo [0,5)
validas[validas['tempo']<5].describe()
| tempo | triplas | |
|---|---|---|
| count | 869.000000 | 869.000000 |
| mean | 0.287750 | 58.018412 |
| std | 0.484596 | 48.969351 |
| min | 0.058462 | 0.000000 |
| 25% | 0.068434 | 0.000000 |
| 50% | 0.108448 | 100.000000 |
| 75% | 0.241616 | 100.000000 |
| max | 4.884106 | 100.000000 |
Estatísticas para consultas com tempo [5,inf)
validas[validas['tempo']>=5].describe()
| tempo | triplas | |
|---|---|---|
| count | 26.000000 | 26.000000 |
| mean | 23.316289 | 96.153846 |
| std | 25.808142 | 19.611614 |
| min | 5.120655 | 0.000000 |
| 25% | 7.776680 | 100.000000 |
| 50% | 10.808632 | 100.000000 |
| 75% | 39.613047 | 100.000000 |
| max | 103.983697 | 100.000000 |
Propriedades de classes com tempo [5,inf)
validas[validas['tempo']>=5].sort_values(by='tempo',ascending=False)
| tempo | classe | propriedade | triplas | erro | |
|---|---|---|---|---|---|
| 831 | 103.983697 | Sócio | tem qualificação sócio | 100 | Não |
| 628 | 85.144988 | Produto | descrição | 100 | Não |
| 596 | 47.732603 | Pessoa Física | name | 100 | Não |
| 424 | 45.993181 | Estabelecimento RFB | contact number | 100 | Não |
| 597 | 45.634666 | Pessoa Física | nome | 100 | Não |
| 576 | 44.533455 | Pessoa Física | CPF | 100 | Não |
| 423 | 43.903130 | Estabelecimento RFB | número de contato | 100 | Não |
| 428 | 26.742799 | Estabelecimento RFB | telefone | 100 | Não |
| 158 | 16.139723 | Empresa | Organização | Pessoa Jurídica | opção por simples | 100 | Não |
| 208 | 12.981354 | Empresa | Organização | Pessoa Jurídica RFB | razão social | 100 | Não |
| 708 | 12.491391 | Situação Cadastral | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 206 | 12.033520 | Empresa | Organização | Pessoa Jurídica RFB | tem matriz | 100 | Não |
| 38 | 12.015900 | Ativa | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 96 | 9.601364 | Combustível | percentual de glp | 100 | Não |
| 712 | 9.158679 | Situação Cadastral Cadastro da SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 767 | 8.692358 | Sociedade RFB | tem qualificação sócio | 100 | Não |
| 95 | 8.440831 | Combustível | percentual de gás natural | 100 | Não |
| 98 | 8.384149 | Combustível | valor de partida | 100 | Não |
| 720 | 7.870271 | Situação Cadastral RFB | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 94 | 7.745483 | Combustível | percentual de gás importado | 100 | Não |
| 57 | 7.347397 | Baixa de Ofício | idêntico / igual / mesmo que / sameAs | 0 | Não |
| 93 | 7.193748 | Combustível | descrição anp | 100 | Não |
| 488 | 6.312975 | Inadimplente | tem inadimplencia | 100 | Não |
| 363 | 5.570576 | Estabelecimento | foi desabilitado | 100 | Não |
| 198 | 5.454618 | Empresa | Organização | Pessoa Jurídica | idêntico / igual / mesmo que / sameAs | 100 | Não |
| 216 | 5.120655 | Empresa | Organização | Pessoa Jurídica SEFAZ | idêntico / igual / mesmo que / sameAs | 100 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
{
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
}
OPTIONAL{
?s ?p2 ?node.
filter(?p2 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?s))
}
}
d6 = pd.read_csv("pd5.csv")
d6
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.766458 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 1 |
| 1 | 0.917331 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 1 |
| 2 | 0.746728 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 1.115540 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 1 |
| 4 | 0.764547 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 135 | 2.600150 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.656098 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 0.681025 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 138 | 2.905685 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 48 |
| 139 | 1.118922 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 46 |
140 rows × 4 columns
d6[(d6['triplas']==0) | (d6['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 2 | 0.746728 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 4 | 0.764547 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| 7 | 0.855488 | Baixa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXA_DE_OFICIO-30984323000128-2019_07_17 | 0 |
| 8 | 0.749488 | Baixada | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 9 | 0.612239 | CEP do Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/CEP_Logradouro/01019030 | 0 |
| 10 | 0.593618 | Cancelada | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/CANCELADA-22973301000134-2015_08_01 | 0 |
| 11 | 0.699918 | Caso da consistência | http://www.sefaz.ma.gov.br/resource/Caso_Consistencia/1.1 | 0 |
| 12 | 0.721365 | Caso da similaridade | http://www.sefaz.ma.gov.br/resource/Caso_Similaridade/1 | 0 |
| 15 | 22.214711 | Combustível | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Combustivel/728225 | 0 |
| 17 | 2.867313 | Consumidor | http://www.sefaz.ma.gov.br/resource/C115/Consumidor/0 | 0 |
| 30 | 2.200500 | Documento | http://xmlns.com/foaf/0.1/Document/CARTEIRA_DE_IDENTIDADE_PROFISSIONAL | 0 |
| 32 | 0.672912 | Emancipado | http://www.sefaz.ma.gov.br/resource/REDESIM/Emancipado/70927600382 | 0 |
| 48 | 0.602305 | Entidade Integrada | http://www.sefaz.ma.gov.br/resource/REDESIM/Entidade_Integrada/9921 | 0 |
| 67 | 0.670493 | Infração | http://www.sefaz.ma.gov.br/resource/CEI/Infracao/1 | 0 |
| 71 | 1.388412 | Medicamento | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/260575880 | 0 |
| 72 | 0.599385 | Nacionalidade | http://www.sefaz.ma.gov.br/resource/REDESIM/Nacionalidade/BRASILEIRA | 0 |
| 73 | 0.642494 | Natureza Legal | Natureza Jurídica | http://www.sefaz.ma.gov.br/resource/DOMINIO/Natureza_Legal/1309 | 0 |
| 75 | 0.646478 | Não Contribuinte | http://www.sefaz.ma.gov.br/resource/DOMINIO/Nao_Contribuinte_ICMS/29173 | 0 |
| 77 | 0.693913 | Obrigação | http://www.sefaz.ma.gov.br/resource/CEI/Obrigacao/%20Implantação%20de%20Iluminação%20Pública%20na%20Av.%20Anita%20Viana | 0 |
| 80 | 0.595265 | Opção pelo regime SIMPLES | http://www.sefaz.ma.gov.br/resource/RFB/Opcao_Simples/NAO-00000000 | 0 |
| 82 | 0.719838 | País | http://www.sefaz.ma.gov.br/resource/DOMINIO/Pais/AFEGANISTAO | 0 |
| 83 | 1.731896 | Periodicidade | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Periodicidade/ANUAL | 0 |
| 88 | 0.639849 | Porte da Empresa | Porte Empresarial | Porte | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Porte/PEQUENO_PORTE | 0 |
| 90 | 0.656436 | Produto | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Medicamento/280739515 | 0 |
| 91 | 0.616503 | Protocolo | http://www.sefaz.ma.gov.br/resource/REDESIM/Protocolo/MAP1601308248 | 0 |
| 93 | 0.700133 | Qualificação do Sócio ou Representante | http://www.sefaz.ma.gov.br/resource/DOMINIO/Qualificacao/ACIONISTA | 0 |
| 94 | 0.725541 | Razão | Motivo de Situação Cadastral | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Razao_Situacao_Cadastral/1 | 0 |
| 102 | 0.860077 | Seção CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_SECAO-EDUCACAO | 0 |
| 103 | 2.632731 | Situação Cadastral | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-32981985000170-2019_03_11 | 0 |
| 104 | 0.171769 | Situação Cadastral Cadastro da SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/BAIXADA-7476781001025-2022_06_02 | 0 |
| 105 | 0.682486 | Situação Cadastral REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Situacao_Cadastral/ATIVA-12835685000175-2010_11_08 | 0 |
| 106 | 0.727094 | Situação Cadastral RFB | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Cadastral/ATIVA-00000000000191-2005_11_03 | 0 |
| 107 | 0.640439 | Situação Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Fiscal/12653046-HABILITADO | 0 |
| 108 | 0.607526 | Situação especial | http://www.sefaz.ma.gov.br/resource/RFB/Situacao_Especial/00002342-1998_02_13 | 0 |
| 117 | 0.718807 | Status de Envio | http://www.sefaz.ma.gov.br/resource/REDESIM/Status_Envio/PENDENTE_ENVIO | 0 |
| 121 | 1.618698 | Suspensa de Ofício | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/SUSPENSA_DE_OFICIO-40031232000121-2021_10_12 | 0 |
| 126 | 0.676818 | Tipo Ato | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Ato/INSCRICAO | 0 |
| 127 | 2.714012 | Tipo de Contribuição | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Contribuicao/NAO_CONTRIBUINTE | 0 |
| 128 | 0.817137 | Tipo de Propriedade | http://www.sefaz.ma.gov.br/resource/REDESIM/Tipo_Propriedade/PROPRIO | 0 |
| 129 | 0.673798 | Tipo de Regime Tributário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tipo_Regime_Tributario/SIMPLES_NACIONAL | 0 |
| 130 | 0.694493 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 135 | 2.600150 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.656098 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 0.681025 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
p = {'inválida':d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0],'válida':d6.shape[0]-d6[(d6['triplas']==0) | (d6['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de propriedades de classes válidas')
fig.show()
d6['erro'] = 'Não'
d6.loc[d6['triplas']==-1,'erro']='Sim'
p = d6['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
p = {'nós sem relações':d6[(d6['triplas']==0)].shape[0],'nós com relações':d6.shape[0]-d6[(d6['triplas']==0)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual nós sem relações por classe')
fig.show()
validas = d6[(d6['triplas']!=0) & (d6['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<30], x="tempo",title="histograma de tempo de execução com tempo [0,30)")
fig.show()
fig = px.histogram(validas[validas['tempo']>=8], x="tempo",title="histograma de tempo de execução com tempo [8,inf)")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 76.000000 | 76.000000 |
| mean | 1.984553 | 8.526316 |
| std | 1.596832 | 21.401230 |
| min | 0.081990 | 1.000000 |
| 25% | 0.756572 | 1.000000 |
| 50% | 1.173117 | 2.000000 |
| 75% | 2.929826 | 6.000000 |
| max | 7.156206 | 155.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 20.000000 | 20.000000 |
| mean | 243.170893 | 13938.150000 |
| std | 805.774639 | 51451.762374 |
| min | 8.296780 | 1.000000 |
| 25% | 21.135150 | 2.750000 |
| 50% | 41.729169 | 7.500000 |
| 75% | 98.356876 | 34.500000 |
| max | 3658.239369 | 227000.000000 |
Recursos com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 36 | 3658.239369 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 227000 | Não |
| 13 | 234.546795 | Cidade | Município | http://www.sefaz.ma.gov.br/resource/DOMINIO/Cidade/VILA%20SAO%20FRANCISCO-AL | 2 | Não |
| 62 | 140.841179 | Grupo CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_GRUPO-ADMINISTRACAO_DO_ESTADO_E_DA_POLITICA_ECONOMICA_E_SOCIAL | 4 | Não |
| 61 | 100.795736 | Grupo | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 99 | 100.646601 | Representante Legal Jurídico | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 33 | 97.593634 | Empresa Holding | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/1005728000179 | 9 | Não |
| 131 | 95.763298 | Unidade Consumo | http://www.sefaz.ma.gov.br/resource/C115/Unidade_Consumo/000000000017 | 3 | Não |
| 26 | 92.215233 | Contribuinte Normal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Tributario/Contribuinte_Normal/81 | 1 | Não |
| 6 | 76.987298 | Bairro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Bairro/14_DE_NOVEMBRO-CASCAVEL | 55 | Não |
| 68 | 43.019931 | Item | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Item/100012075131000120452 | 3 | Não |
| 29 | 40.438407 | Divisão CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/CNAE_1.0_DIVISAO-CONFECCAO_DE_ARTIGOS_DO_VESTUARIO_E_ACESSORIOS | 2 | Não |
| 49 | 34.897806 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 37 | 29.797403 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 6 | Não |
| 16 | 28.624365 | Compra Pública | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Compra_Publica/5613 | 2 | Não |
| 52 | 22.950565 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 42 | Não |
| 70 | 15.688907 | Logradouro | http://www.sefaz.ma.gov.br/resource/DOMINIO/Logradouro/01001000-SE | 3 | Não |
| 119 | 15.274219 | Subclasse CNAE | http://www.sefaz.ma.gov.br/resource/DOMINIO/Atividade_Economica/2731700 | 51525 | Não |
| 50 | 13.457205 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 32 | Não |
| 65 | 13.343132 | Inadimplência | http://www.sefaz.ma.gov.br/resource/CEI/Inadimplencia/10000100-2875068000140-20%2F09%2F05%2000%3A00%3A00-20%2F09%2F05%2000%3A00%3A00 | 2 | Não |
| 85 | 8.296780 | Pessoa Física Cadastro SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Pessoa/2010305 | 12 | Não |
Exemplo:
SELECT * where {
BIND(<http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/14769662491-10_05_2017-00371520167> as ?node)
?node ?p ?o .
filter(?p != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o))
?o ?p3 ?o2.
filter(?p3 != <http://www.w3.org/1999/02/22-rdf-syntax-ns#type>)
filter(isURI(?o2))
}
d7 = pd.read_csv("pd6.csv")
d7
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.978420 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.349754 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.868333 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.779412 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.237448 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 135 | 0.749933 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.720824 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 0.729092 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 138 | 0.894206 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
| 139 | 3.255849 | Evento | http://www.sefaz.ma.gov.br/resource/REDESIM/Evento/691 | 212 |
140 rows × 4 columns
d7[(d7['triplas']==0) | (d7['triplas']==-1)]
| tempo | classe | recurso | triplas | |
|---|---|---|---|---|
| 0 | 0.978420 | Acórdão | http://www.sefaz.ma.gov.br/resource/Restricoes/Acordao/033.003.508-83-2019-11-20T17%3A30%3A00Z-020.012%2F2018-7 | 0 |
| 1 | 1.349754 | Agente | http://www.sefaz.ma.gov.br/resource/RFB/Agente/14%20LTD | 0 |
| 2 | 0.868333 | Arma | http://www.sefaz.ma.gov.br/resource/Compras_Publicas/Arma/5 | 0 |
| 3 | 0.779412 | Arquivo | http://www.sefaz.ma.gov.br/resource/REDESIM/Arquivo/701 | 0 |
| 4 | 1.237448 | Ativa | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Situacao_Cadastral/ATIVA-7479142000122-2022_04_11 | 0 |
| ... | ... | ... | ... | ... |
| 130 | 0.881449 | Tipo do Estabelecimento | http://www.sefaz.ma.gov.br/resource/DOMINIO/Tipo_Estabelecimento/FILIAL | 0 |
| 135 | 0.749933 | Unidade Federativa | Estado | http://www.sefaz.ma.gov.br/resource/DOMINIO/Unidade_Federativa/MG | 0 |
| 136 | 0.720824 | Unidade Fiscal | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Unidade_Fiscal/1 | 0 |
| 137 | 0.729092 | Usuário | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Usuario/1088772 | 0 |
| 138 | 0.894206 | Órgão | http://www.sefaz.ma.gov.br/resource/CEIS/Orgao/MINISTÉRIO%20DA%20AGRICULTURA%2C%20PECUÁRIA%20E%20ABASTECIMENTO | 0 |
87 rows × 4 columns
p = {'inválidas':d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0],'válidas':d7.shape[0]-d7[(d7['triplas']==0) | (d7['triplas']==-1)].shape[0]}
p=pd.DataFrame([p]).T.reset_index().rename(columns={0:'qtd','index':'tipo'})
fig = px.pie(p,values='qtd', names='tipo', title='Percentual de recursos com duas propriedades em cadeia por classe válidos')
fig.show()
d7['erro'] = 'Não'
d7.loc[d7['triplas']==-1,'erro']='Sim'
p = d7['erro'].value_counts().reset_index(name="qtd")
fig = px.pie(p,values='qtd', names='index', title='Percentual de recursos que deram erro')
fig.show()
validas = d7[(d7['triplas']!=0) & (d7['triplas']!=-1)]
fig = px.histogram(validas, x="tempo",title="histograma de tempo de execução")
fig.show()
fig = px.histogram(validas[validas['tempo']<=19], x="tempo",title="histograma de tempo de execução com tempo [0,19]")
fig.show()
Estatísticas para consultas com tempo [0,8)
validas[validas['tempo']<8].describe()
| tempo | triplas | |
|---|---|---|
| count | 42.000000 | 42.000000 |
| mean | 2.718439 | 10.738095 |
| std | 1.692249 | 32.335934 |
| min | 0.272727 | 1.000000 |
| 25% | 1.568708 | 2.000000 |
| 50% | 2.255893 | 4.000000 |
| 75% | 3.315969 | 9.750000 |
| max | 7.843861 | 212.000000 |
Estatísticas para consultas com tempo [8,inf)
validas[validas['tempo']>=8].describe()
| tempo | triplas | |
|---|---|---|
| count | 11.000000 | 11.000000 |
| mean | 75.318570 | 10674.090909 |
| std | 112.901550 | 35319.382773 |
| min | 8.129926 | 10.000000 |
| 25% | 10.324515 | 10.000000 |
| 50% | 11.540590 | 17.000000 |
| 75% | 107.240473 | 26.000000 |
| max | 328.129727 | 117166.000000 |
Consultas com tempo [8,inf)
validas[validas['tempo']>=8].sort_values(by='tempo',ascending=False)
| tempo | classe | recurso | triplas | erro | |
|---|---|---|---|---|---|
| 49 | 328.129727 | Estabelecimento | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 26 | Não |
| 37 | 208.834234 | Empresa | Organização | Pessoa Jurídica SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Empresa/12000060 | 17 | Não |
| 52 | 192.958265 | Estabelecimento SEFAZ | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Estabelecimento/12000000 | 26 | Não |
| 35 | 21.522681 | Empresa | Organização | Pessoa Jurídica REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Empresa/16506549 | 111 | Não |
| 36 | 16.420096 | Empresa | Organização | Pessoa Jurídica RFB | http://www.sefaz.ma.gov.br/resource/RFB/Empresa/00000000 | 117166 | Não |
| 69 | 11.540590 | Localização | Local | http://www.sefaz.ma.gov.br/resource/Cadastro_SEFAZ-MA/Endereco/12000000 | 19 | Não |
| 18 | 11.399703 | Contador | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |
| 98 | 10.945458 | Representante Legal Físico | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |
| 50 | 9.703572 | Estabelecimento REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Estabelecimento/191 | 10 | Não |
| 86 | 8.920014 | Pessoa Física REDESIM | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |
| 97 | 8.129926 | Representante Legal | http://www.sefaz.ma.gov.br/resource/REDESIM/Pessoa/725323 | 10 | Não |